پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان Scala [ویدئو]

سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before You Start

• درباره دوره About the Course

• پیش نیازهای دوره Course Prerequisites

محیط خود را تنظیم کنید Set Up Your Environment

• محیط توسعه جرقه Spark Development Environment

• پیش نیازهای نصب اسپارک Spark Installation Prerequisites

• نصب آپاچی اسپارک Installing Apache Spark

• IDE خود را تنظیم و آزمایش کنید Set Up and Test Your IDE

• آپاچی کافکا را نصب و اجرا کنید Install and Run Apache Kafka

شروع کار با جریان ساختار یافته Spark Getting Started with Spark Structured Streaming

• مقدمه ای بر پردازش جریانی Introduction to Stream Processing

• Spark Streaming API - DSstream در مقابل جریان ساختاری Spark Streaming APIs - DStream Versus Structured Streaming

• ایجاد اولین برنامه پردازش جریان شما Creating Your First Stream Processing Application

• مدل پردازش جریان در Spark Stream Processing Model in Spark

• کار با فایل ها و دایرکتوری ها Working with Files and Directories

• منابع جریان، سینک ها، و حالت خروجی Streaming Sources, Sinks, and Output Mode

• تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

جریان جرقه با کافکا Spark Streaming with Kafka

• پخش از منبع کافکا Streaming from Kafka Source

• کار با کافکا سینک Working with Kafka Sinks

• برنامه جریان های چند پرس و جو Multi-Query Streams Application

• سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

• ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks

• کار با منبع Kafka AVRO Working with Kafka AVRO Source

پنجره ها و مصالح Windowing and Aggregates

• دگرگونی های بی تابعیت در مقابل تحولات دولتی Stateless Versus Stateful Transformations

• زمان رویداد و پنجره Event Time and Windowing

• جمع کردن پنجره غلتشی Tumbling Window Aggregate

• واترمارک کردن ویندوز شما Watermarking Your Windows

• حالت های واترمارک و خروجی Watermark and Output Modes

• ویندوز کشویی Sliding Windows

پردازش جریانی و پیوستن Stream Processing and Joins

• پیوستن جریان به منبع استاتیک Joining Stream to Static Source

• پیوستن به جریان به جریانی دیگر Joining Stream to Another Stream

• پخش واترمارک Streaming Watermark

• پخش جریانی اتصالات خارجی Streaming Outer Joins